Sinh ngày 7 tháng 12 âm lịch, năm Văn Chính thứ 11 (23 tháng 1 năm 1828), tại Kagoshima, phiên bang Satsuma (ngày nay là tỉnh Kagoshima), Saigō khởi nghiệp là một võ sĩ samurai cấp thấp. Ông được thuê đến Edo (Giang Hộ) năm 1854 để trợ giúp daimyō phiên bang Satsuma là Shimazu Nariakira trong việc hòa giải và thắt chặt mối quan hệ giữa Mạc phủ Tokugawa với triều đình (公武合体).

Tuy vậy, hoạt động của Saigō Takamori ở Edo đột ngột kết thúc với cuộc Thanh trừng Ansei của Tairo Ii Naosuke chống lại các hoạt động chống chính quyền Mạc phủ, và cái chết bất ngờ của Shimazu Nariakira. Saigō chạy trốn về Kagoshima, chỉ để bị bắt và bị đày đi đảo Amami Ōshima. Ông sớm được gọi lại năm 1861, và được cử đến kinh đô Kyoto để giải quyết các lợi ích của phiên mình với triều đình.